I dette kapitel vil vi undersøge, hvordan ortogonalitet med fordel kan
anvendes i flere forskellige sammenhænge. Vi fastholder et indre
produkt rum over et legeme , hvor , som tidligere, enten
betegner de reelle eller de komplekse tal.
[Ortogonale og ortonormale mængder]
En samling af elementer
i kaldes en ortogonal mængde,
hvis følgende betingelser er opfyldt
for
.
når .
Såfremt herudover
også opfylder
for
,
så kaldes for en ortonormal mængde.
, , er en ortogonal mængde med hensyn til skalarproduktet på
.
Korrekt!Korrekt!Korrekt!Korrekt!Korrekt!Korrekt!Forkert.
Bemærk, at man let kommer fra en ortogonal mængde til en
ortonormal mængde: hvis betegner en
ortogonal mængde i , så er den tilsvarende skalerede samling af
elementer
en ortonormal mængde.
Betragt det komplekse indre produkt rum defineret ved (9.6)
som i Eksempel 9.3(6.). For
defineres de komplekse funktioner
Ifølge velkendte regneregler for eksponentialfunktioner, så er
samt
Det følger herfra, at og er ortogonale for , idet
En tilsvarende beregning i tilfældet giver
Dvs. enhver endelig mængde af funktioner af typen er en
ortogonal (men ikke ortonormal) mængde. Havde vi i stedet anvendt
det indre produkt (9.7) med
, så havde mængder af denne type været
ortonormale.
Som en første indikation på at ortogonalitet er anvendeligt, der bemærker
vi:
Lad betegne en ortogonal mængde i , og
lad . Hvis
for skalarer , så er
for . Specielt er projektionen
af på , for .
I det følgende betragter vi det reelle vektorrum
som et indre produkt rum via skalarproduktet. Lad
betegne tre vektorer i . Det oplyses,
at for
passende reelle skalarer og .
Angiv værdieen for .
Dit svar: Det er en som er med indgange med størrelse x givet ved
Med den valgte opskrivning af har vi
hvorfra identiteten (10.1) følger. Påstanden omkring
projektionen følger umiddelbart af
Lemma 9.14.
En umiddelbar konsekvens af ovenstående lemma er, at der kun
eksisterer den trivielle lineære relation mellem elementerne i en
ortogonal mængde (anvend Lemma 10.3 på
). Specielt har vi:
Lad betegne en ortogonal mængde i . Så
er lineært uafhængig.
[Ortogonalt komplement]
Lad betegne et underrum i et indre produkt rum . Det
ortogonale komplement til i
defineres som mængden
I det følgende betragter vi det reelle vektorrum
som et indre produkt rum via skalarproduktet.
Lad , hvor
Så er , og alle elementer i det
ortogonale komplement .
Korrekt!Forkert.
Lad betegne et underrum i et indre produkt rum . Da er det
ortogonale komplement et underrum i .
For det første er det jf. Lemma 9.7(3.) klart, at
indeholder neutralelementet . Vi skal derfor blot vise, at
er stabil overfor addition og skalarmultiplikation. Så lad
og . Så gælder der for , at
samt
Vi konkluderer dermed, at og begge er
elementer i , og beviset er hermed afsluttet.
Følgende resultat er simpelt men utroligt anvendeligt:
Inklusion "" er oplagt, og vi kan derfor alene koncentrere os
om inklusionen "". Lad . Idet
, så er ortogonal på alt i ; specielt er ortogonal på . Dermed er
og vi konkluderer, jf. Definition 9.1(2.),
at .
I tilfældet giver Lemma 10.7, at
idet , pr. definition, er indeholdt i .
Idet
ethvert element i er ortogonal på
, jf. Lemma 9.7(3.), så er det ortogonale
komplement til
nulvektorrummet lig .
Betragt
det indre produkt rum udstyret med
skalarproduktet. Det ortogonale komplement
til underrummet , hvor
består af vektorer
så
for alle . Dette
krav er ækvivalent med, at
som udgør en homogen lineær ligning i
to ubekendte med løsningerne ,
hvor betegner hat-vektoren til
. Vi konkluderer, at .
Lad betegne et indre produkt rum, og lad
betegne en samling
af elementer i . Så er
Hvis , så er
ortogonal på alle elementer i og dermed specielt på
. Dette viser inklusionen fra venstre mod
højre i identiteten (10.3).Antag modsat, at er ortogonal på , og
lad betegne et arbitrært element i . Vælg skalarer så
Da følger det af Bemærkning 9.2(2.), at
og er dermed indeholdt i det ortogonale komplement til
. Dette afslutter beviset.
[Ortogonale underrum]
Lad og betegne underrum af et indre produkt rum . Hvis
alle elementer er ortogonale på alle elementer , så siger vi at underrummene og er ortogonale. I givet fald
skriver vi .
10.1 Ortogonal projektion
Vi ønsker nu at definere, hvad vi vil mene med den ortogonale
projektion på et underrum af et indre produkt rum.Vi definerer i den forbindelse:
[Ortogonal projektion på underrum]
Lad betegne et underrum i et indre produkt
rum , og lad betegne et element
i . Et element kaldes for en
ortogonal projektion af på ,
hvis er et element i .
I det følgende betragter vi det reelle vektorrum
som et indre produkt rum via skalarproduktet. Lad
, hvor
Angiv den ortogonale projektion af
på underrummet .
At er en ortogonal projektion af
på , betyder, at vi kan skrive
for et element
(sæt blot ). Begrebet kan passende
illustreres ved Figur 10.12.
Ortogonal projektion
Vi vil nu undersøge, hvornår der eksisterer
ortogonale projektioner, og vi starter med
at bemærke, at ortogonale projektioner er
entydigt bestemte, såfremt de eksisterer.
Lad betegne et underrum i et indre produkt
rum , og lad betegne et element
i . Hvis og betegner ortogonale
projektioner af på , så er .
Idet er et vektorrum, så vil
differensen
være et element i . Men
er også et element i , og dermed
jf. Lemma 10.7. Vi konkluderer, at
, hvilket er
ækvivalent med det ønskede.
Følgende resultat viser, at der altid
eksisterer projektioner på underrum, der
er udspændt af en ortogonal mængde.
Lad betegne en ortogonal mængde i et indre
produkt rum , og lad betegne spannet
. Ethvert element i kan da
entydigt skrives som en sum
hvor og . Faktisk er
Betragt det reelle vektorrum som et indre produkt rum via skalarproduktet, og sæt
, hvor og . Beregn den ortogonale projektion af på .
Ifølge Lemma 10.13 så er det
tilstrækkeligt at vise eksistensen af en opspaltning af på formen
(10.4), hvor er givet som
i (10.5).Idet er en linearkombination af vektorerne
, så er et element i
. Vi skal derfor kun vise, at er
et element i , hvilket,
ifølge Lemma 10.9, er ækvivalent
med, at
Det sidste følger af beregningen
hvor vi undervejs har anvendt egenskaber ved
det indre produkt samt antagelsen om, at
'erne er ortogonale.
At er udspændt af en
ortogonal mængde er, jf. Proposition 10.4, ækvivalent med, at
har en basis, hvis elementer udgør en ortogonal mængde. Vi definerer
derfor:
[Ortogonale og ortonormale baser]
En ortogonal basis for et vektorrum
er en basis for , hvor
er en ortogonal mængde. Såfremt
er en ortonormal mængde, så kaldes
også for en ortonormal basis.
Vektorerne og definerer en samling af
elementer, der udgør en ortogonal basis for
(mht. skalarproduktet)
Korrekt!Forkert.
Vektorerne og definerer en samling af elementer, der udgør en ortonormal basis for
(mht. skalarproduktet).
Korrekt!Forkert.
Vi vil nu undersøge hvilke vektorrum, der har ortonormale baser. I
første omgang bemærker vi følgende resultat:
Lad betegne en ortogonal mængde i et indre
produkt rum , og lad betegne et element i , der ikke er
indeholdt i . Skriv,
jf. Lemma 10.14,
hvor og , og sæt . Så er en
ortogonal mængde.
Idet en ortonormal basis kan opnås ud fra en ortogonal basis (ved
skalering), så kan vi nøjes med at vise, at har en ortogonal
basis. Dette udsagn vises ved induktion i . Hvis
, så vælges et element forskellig fra
. Da er lineært uafhængig og derfor nødvendigvis
en basis (jf. Proposition 7.12). Yderligere er mængden bestående
af blot ortogonal.Antag nu, at for , og
at udsagnet er vist for vektorrum af dimension . Lad betegne en basis for , og sæt . Så er et indre
produkt rum af
dimension , og derfor eksisterer der, pr. induktion, en ortogonal
basis
for . Idet så kan vi, vha. Lemma 10.16, udvide
den ortogonale mængde med et ekstra
element . Da er en
ortogonal mængde i , og dermed, jf. Proposition 10.4, er
lineært
uafhængig. Men så er en ortogonal basis for , jf.
Proposition 7.12.
Vi kan nu vise, at der altid eksisterer
ortogonale projektioner på underrum af
endelig dimension.
Lad betegne et underrum af endelig dimension i et indre produkt
rum , og lad . Så findes der entydige elementer og , så
Hvis , så er , og vi kan dermed sætte og . Dette er samtidig også den eneste mulighed for
at opfylde kravene i udsagnet. Antag derfor, at . Ifølge
Proposition 10.17 har dermed en ortonormal basis, og
udsagnet følger da af Lemma 10.14.
Dette leder frem til følgende definition:
[Projektionsafbildningen]
Lad betegne et underrum af endelig dimension i et indre produkt rum . Afbildningen
der afbilder et element i dets ortogonale
projektion på , kaldes for
den ortogonale projektion af på .
I det følgende betragtes det reelle vektorrum som et
indre produkt rum via skalarproduktet. Lad ,
hvor
Den ortogonale projetion , er
da givet ved, at
hvor er lig og er lig .
Korrekt!Forkert.
Den ortogonale projektion
af et indre produkt rum på et endeligt dimensionalt underrum
er en lineær transformation.
Lad og betegne elementer i , og lad
betegne en skalar. Vi skal vise, at
og at
Sæt og . Så er , mens og er elementer
i . Idet både og er vektorrum, så har vi dermed
og
Specielt opfylder de nødvendige betingelser for
at være lig , og dermed er (10.7)
opfyldt. Tilsvarende ses, at (10.8) er opfyldt.
Betragt det reelle indre produkt rum
som defineret i (9.4). Ifølge Eksempel 9.10(2.)
så er funktionerne og ortogonale. Lad
betegne underrummet , og lad os bestemme den
ortogonale projektion af funktionen på . Ifølge
(10.5) så er
Vi beregner derfor
og
mens (overlades til læseren)
Det følger dermed, at den ortogonale projektion af på er
givet ved .
Lad betegne et indre produkt rum af endelig dimension . Hvis
er et underrum i , så er
Herudover, så er .
Betragt den ortogonale projektion
Ifølge dimensionsformlen Sætning 7.20 (og
Proposition 10.20) så er
Elementer i er karakteriseret ved, at
er indeholdt i ; dvs.
Yderligere er det klart, at er surjektiv (idet ,
for ), og dermed er
Identiteten (10.11) følger nu ved at kombinere
(10.12), (10.13) og (10.14).Bemærk nu, at er ortogonal på alt, hvad der er ortogonalt
på . Med andre ord så er et underrum af .
Men ifølge det just viste, så er
og dermed er nødvendigvis lig , jf.
Proposition 7.16.
Sæt og for
. Det er, jf. Proposition 10.4 og
Proposition 7.12, tilstrækkeligt at vise, at
er en ortogonal mængde.Lad , for , betegne
underrummet .
Vi påstår, at
for
: i første omgang er
, for , den
ortogonale projektion af på
, hvilket implicerer, at er et element i
. Herudover er en differens af to elementer
i og dermed selv et element i
.Vi kan nu vise, at og , med , er
ortogonale. Først bemærkes det, at ,
og (10.16) implicerer derfor, at
Specielt er ortogonal på , idet
Det resterer derfor kun at vise, at alle er forskellige fra .
I første omgang er forskellig
fra , idet er del af en basis for
. Betragt herefter for . Hvis
, så vil være
et element i . Men så er
lineært afhængig, jf.
Lemma 7.8(2.), hvilket
er i modstrid med antagelserne. Dette
afslutter beviset.
I konkrete tilfælde så kan den ortogonale basis (10.15)
bestemmes via en rekursiv proces, som vi nu vil beskrive. Pointen
er, at , og dermed , kan bestemmes, så snart vi
har en ortogonal basis for
(jf. (10.5)). Men mængden
er pr. Lemma 10.24, en ortogonal mængde i og dermed en
ortogonal basis for . Så elementerne i basen
(10.15) kan bestemmes rekursivt (dvs. en ad gangen)
startende fra venstre med ; derefter ; etc.
Lad betegne et indre produkt rum med basis
, og lad
betegne den ortogonale basis
(10.15) for bestemt ud fra . Definer
Så er
mens
hvor
Det er tilstrækkeligt at vise, at notationen i
(10.20) stemmer overens med den tilsvarende notation i
Lemma 10.24; dvs. at er lig den ortogonale
projektion af på for
.Ifølge definitionerne i Lemma 10.24 så vil tilhøre
, når . Specielt vil,
jf. udsagnet i Lemma 10.24, elementerne udgøre en ortogonal mængde i . Det følger, at
udgør en ortonormal mængde i , for
. Jf. Proposition 10.4 og Proposition 7.12, så er
derfor en ortonormal basis for
. Specielt definerer (10.20), jf. (10.5), den
ortogonale projektion af på som ønsket.
Ovenstående resultat danner grundlaget for en algoritme, kaldet
Gram-Schmidt processen, der
producerer en ortonormal basis for et indre
produkt rum ud fra en arbitrær basis . Algoritmen
forløber rekursivt på følgende vis:Start med at definere
Antag nu, at allerede er defineret
(), og sæt da
hvor
Forsæt ovenstående indtil er defineret.At ovenstående algoritme faktisk producerer en ortonormal basis (og at
man ikke dividerer med undervejs) følget af udsagnet i
Lemma 10.25. Vi illustrerer nedenfor Gram-Schmidt metoden med et eksempel.
Betragt som et indre produkt rum via
skalarproduktet. Lad
og sæt . Vi ønsker at bestemme en
ortonormal basis for . Vi påstår først, at
er lineært uafhængig, og at dermed er
en basis for . Påstanden er, jf. Proposition 7.12, ækvivalent
med, at . Dimensionen beregnes som angivet i
Afsnit 7.4, og vi indfører derfor den reelle matrix
med søjlerum lig . Dimensionen af kan dermed bestemmes som
antallet af pivoter i en RREF for . Vi udfører ERO, og
finder
at antallet af pivoter er lig som ønsket. Vi kan nu udføre
Gram-Schmidt processen på . I første omgang sættes
Herefter er
Dvs.
Herefter er
og dermed
Vi konkluderer, at
er en ortonormal basis for .
Lad betegne et vektorrum af endelig dimension
. Vi ved allerede, at vi kan udvide en lineært
uafhængig samling af elementer i til en basis
for . Hvis vi
herefter anvender Gram-Schmidt processen på ,
så opnår vi en ortonormal basis for . Bemærk nu, at hvis
var en ortonormal samling af elementer, så ville
de første elementer , for ,
i den ortonormale basis være identiske med
de tilsvarende 'ere i . Denne
påstand følger umiddelbart ved induktion i ,
idet man anvender, at i (10.21)
er nulvektoren, hvis er ortogonal på . Vi har hermed opnået en
ortonormalbasis for , der er en udvidelse
af den ortonormale samling af elementer .
10.3 Lineære isometrier
Hvis og begge er indre produkt rum over legemet , så er
det naturligt at betragte lineære transformationer mellem og , der
respekterer det indre produkt. Vi definerer:
[Lineær isometri]
En lineær transformation kaldes en
lineær isometri, såfremt
for alle .
En lineær isometri af indre produkt rum opfylder
specielt
hvilket ses umiddelbart af (10.22) med . Identiteten (10.23) udtrykker, at bevarer længder, og faktisk er
det oftest denne egenskab, som bruges som definition
på en isometri. At identiteterne (10.22)
og (10.23) er ækvivalente følger
af polariseringsidentiteterne:
Lad og betegne indre produkt rum. En lineær afbildning der opfylder identiteten (10.23) er
en lineær isometri.
Vi betragter her alene tilfældet , og overlader det resterende
tilfælde til læseren. Antag at identiteten
(10.23) er opfyldt. Så er
hvorfra det ønskede følger.
Lad betegne et indre produkt rum over med ortonormal basis
. Opfat som et indre produkt rum via det sædvanlige
skalarprodukt. Så er den lineære isomorfi
en lineær isometri; dvs.
for alle . Med andre ord er det indre produkt
identisk med det indre produkt
defineret ud fra (se evt. Eksempel 9.3(3.)).
Lad og betegne elementer i , og anvend notationen
om de tilsvarende koordinatvektorer. Dvs.
og
Dermed har vi
som ønsket.
[Unitære og ortogonale matricer]
Lad og betegn med
den tilsvarende lineære operator. Opfat som et indre produkt
rum via skalarproduktet. Matricen kaldes
unitær, hvis og er en
lineær isometri. Hvis og er en lineær isometri, så
kaldes ortogonal.
I det følgende vil vi karakterisere, hvornår en matrix er hhv. unitær
eller ortogonal. I den forbindelse er det, for en matrix , fornuftigt at indføre notationen om matricen,
der fremkommer ved at kompleks konjugere alle indgange i
(specielt er , hvis er en reel matrix).
Det sædvanlige
skalarprodukt på kan da beskrives som
Lad betegne den komplekse matrix
så er lig
Som en konsekvens af Lemma 3.11 har vi umiddelbart følgende
resultat.
Ækvivalensen mellem (1.) og
(2.) følger umiddelbart fra definitionerne. Lad
nu betegne søjlerne for , og lad
betegne standardbasen for . Så
implicerer udsagn (2.), at
hvor betegner Kroneckers delta; altså er søjlerne i
en ortonormal mængde, og er dermed en
ortonormalbasis for . Udsagn (3.) er
derfor en konsekvens af udsagn (2.). Antag nu,
at udsagn (3.) er opfyldt. Så er
Men udtrykket er netop den 'te
indgang i produktet . Vi konkluderer, at , og dermed er invertibel med invers , hvilket er
udsagn (4.). Endelig er udsagn
(2.) en konsekvens af udsagn
(4.), idet (hvis )
Lad betegne en matrix, der
fremkommer ved at ombytte søjlerne i identitetsmatricen
. Så er unitær eller ortogonal, når
er lig hhv. eller . F.eks. opfylder matricen
dette. Matricer af denne type kaldes for
permutationsmatricer. Bemærk specielt,
at identitetsmatricen er en permutationsmatrix, og at dermed er unitær
eller ortogonal.
Lad og betragt en matrix af formen
for . Søjlerne i er da ortogonale og har længde lig
, og er da en ortogonal matrix. Den tilsvarende lineære
operator på er i dette tilfælde lig en rotation
omkring origo på grader imod urets retning. Tilsvarende er
for , en ortogonal matrix. I dette tilfælde er en
spejling omkring linien i der danner vinklen med -aksen.Enhver ortogonal matrix i vil bestå af ortogonale
søjler af længde lig . Specielt vil være
på formen
for en passende skalar . Idet er vinkelret på
, så vil være et reelt multiplum af hat-vektoren
for . Men har samtidig længde lig , så dermed må
nødvendigvis være lig en af vektorerne eller
. Alle ortogonale matricer i er dermed
enten på formen eller på formen som ovenfor.
Lad betegne kvadratiske matricer.
Markér det udsagn, der altid er sandt.
Hvis , da gælder der, at
, for alle
Hvis er unitær, så er
,
for alle og
Hvis og er unitære, så er
10.4 Approksimationer
Betragt et indre produkt rum og et underrum heri. Givet et
så er det ofte naturligt at spørge, om der eksisterer et
, der er tættest på . Her skal man selvfølgelig
først gøre sig klart, hvad man mener med ordet tættest. Vi
vælger at anvende normen som et mål for afstanden
mellem og , og tolker da tættest som, at er minimal. At der faktisk findes et , hvor
er minimal, er dog ikke umiddelbart oplagt. Vi har
dog:
Lad betegne et underrum af et indre produkt rum . Lad , og antag, at vi har en opspaltning
med og . Så vil
for alle .
Idet , så vil
være ortogonal på . Specielt giver Pythagoras'
sætning, at
idet , og dermed . Sætningens
udsagn følger da umiddelbart herfra.
I betragtning af Definition 10.11
så viser Proposition 10.37, at den ortogonale projektion af på (hvis en
sådan eksisterer) er det element i , der er tættest på . Ifølge Korollar 10.18
så kan man derfor altid tale om elementer i ,
der er tættest på , når er et vektorrum
af endelig dimension.
10.4.1 Mindste kvadraters løsning
I det følgende opfatter vi
som et indre produkt rum via skalarproduktet.
Lad betegne en reel matrix.
Så er søjlerummet et underrum i .
Lad nu ,
og betragt det tilsvarende lineære ligningssystem
I Afsnit 5.2.1 observerede vi, at de mulige værdier for
venstresiden af (10.25), når gennemløber , netop
er lig søjlerummet for . Vi taler dermed om, at er en
bedst mulig løsning, eller
en mindste kvadraters løsning til (10.25), såfremt
er det element i søjlerummet , som er tættest på
. Ordet tættest skal selvfølgelig forstås i den forstand,
som det er introduceret ovenfor; dvs. vi kræver, at
skal være minimal.
Projektion på søjlerum
Det lineære ligningssystem (10.25) har (mindst) en mindste
kvadraters løsning. Mindste kvadraters løsninger bestemmes som
løsningsmængden til det lineære ligningssystem
hvor betegner den ortogonale projektion af på
søjlerummet .
I det følgende betegner den reelle matrix
mens betegner søjlevektoren
Så er den ortogonale projektion af på søjlerummet
til lig
hvor og . Specielt er
en mindste kvadraters løsning til det lineære ligningssystem
.
Korrekt!Forkert.
At (10.26) har en løsning skyldes at , pr. definition,
er indeholdt i søjlerummet til (jf. diskussionen i Afsnit 5.2.1). For
vil , og dermed gælder der,
ifølge Proposition 10.37, at
med lighedstegn når . Dette viser, at mindste
kvadraters løsninger til (10.25) bestemmes som løsningerne
til (10.26).
Idet (10.26) har mindst en løsning, så følger det af
Proposition 3.12, at antallet af mindste kvadraters løsninger
er det samme som antallet af elementer i nulrummet . Specielt
opnår vi:
Der er en entydig mindste kvadraters løsning til (10.25),
hvis og kun hvis rangen af er lig .
Dette følger af (3.) i Korollar 7.36,
idet er ækvivalent med at .
At bestemme mindste kvadraters løsninger til (10.25)
vha. Proposition 10.39 kræver, at man først finder den ortogonale
projektion af på . Vi har derfor brug for følgende
sætning:
Det ortogonale komplement til søjlerummet
indenfor det indre produkt rum (udstyret med
skalarproduktet), er identisk med nulrummet .
Jf. Afsnit 5.2.1 så kan søjlerummet beskrives som
mængden af elementer på formen , for . At et element er
indeholdt i , er derfor ækvivalent med, at
Men
og derfor er (10.27) ækvivalent med, at
Endelig er (10.28) ækvivalent med, at er
indeholdt i ; dvs at
(jf. Eksempel 10.8(1.)). Dette afslutter beviset, da netop betyder, at er indeholdt i .
Vi kan nu simplificere metoden til bestemmelse af mindste kvadraters
løsninger.
Mindste kvadraters løsninger til (10.25)
bestemmes som løsningerne til det lineære
ligningssystem
Lad betegne den ortogonale projektion af på søjlerummet
. Pr. definition er dermed det entydige element i ,
der opfylder
hvor det sidste lighedstegn følger af Lemma 10.41. For vil , og vil da være
lig præcist, når
Men at opfylder (10.30), er oplagt ækvivalent med,
at er en løsning til (10.29).
Ligningen (10.29) kaldes for
normalligningen hørende til (10.25). Det bemærkes, at
normalligningen kan opskrives uden kendskab til projektionen af
på søjlerummet til , og mindste kvadraters løsninger kan
dermed bestemmes via almindelige metoder for løsninger af lineære
ligningssystemer.
I det følgende betegner den reelle matrix
mens betegner søjlevektoren
Normalligning for det lineære ligningssystem
er givet ved , hvor mens
. En løsning til normalligningen (og dermed en mindste
kvadraters løsning til ) er lig .
Korrekt!Forkert.
Rangen af er lig hvis og kun hvis den
kvadratiske matrix er invertibel.
Hvis er invertibel, så vil (10.29) have en entydig
løsning, og da vil
ifølge Korollar 10.40.Hvis omvendt , så vil
(10.29) have en entydig
løsning, jf. Korollar 10.40.
Men så vil det tilsvarende
homogene lineære ligningssystem
også have en entydig løsning, jf. Proposition 3.12, og dermed er
invertibel ifølge Proposition 4.6.
10.4.2 Polynomiel regression
Vi vil nu undersøge, hvordan man kan approksimere et datasæt
i planen, med polynomielle kurver. Optimalt ønsker vi, for et fast
, at bestemme et reelt polynomium
i , så sammenhængen mellem koordinaterne i
(10.32) er givet ved
Hvis er lille i forholdet til størrelsen af datasættet, så kan
(10.34) sjældent opnås. I stedet ønsker man at minimere
samlingen af værdier , for . Vi tolker
her minimere, som at normen af vektoren (mht. skalarproduktet)
er minimal. De variable er i denne forbindelse koefficienterne
til polynomiet .En sådan problemstilling kan løses via den ovenfor indførte teori. Vi
definerer
og bemærker
Dermed kan normen af beskrives som
hvor
Vi konkluderer derfor, at normen af er minimal, når er
en mindste kvadraters løsning til ligningssystemet . Specielt findes de optimale værdier af (og dermed
det optimale ), som løsningerne til normalligningen
Antallet af mindste kvadraters løsninger er delvist beskrevet ved:
Der eksisterer en entydig mindste kvadraters løsning til , såfremt samlingen indeholder
en delmængde bestående af parvist forskellige elementer.
Jf. Korollar 10.40, så eksisterer der en entydig mindste
kvadraters løsning, såfremt . Dette er yderligere
ækvivalent med, at , jf. (3.)
i Korollar 7.36. Lad derfor
betegne et element i nulrummet , og lad
betegne det tilsvarende polynomium (10.33). Ifølge
(10.37) så er da rødder i
. Såfremt der blandt er parvist
forskellige elementer, så er dermed nødvendigvis lig
nulpolynomiet, jf. Proposition B.13. Dermed er ,
og det ønskede er opnået.
Betragt datasættet
og lad os bestemme en approksimation hertil med en lineær funktion
, med . Idet der er
parvist forskellige 1.-koordinater, så følger det, at der er en
entydig mindste kvadraters løsning til det tilsvarende lineære
ligningssystem , hvor
Idet
og
så er den relevante normalligning lig
hvis entydige løsning bestemmes til
Den bedste (i den angivne forstand) lineære approksimation til
datasættet er derfor linjen . Idet ,
så vil denne linje ikke gå igennem alle punkter i datasættet .Lad os i stedet bestemme den bedste approksimation til med en
kvadratisk funktion
for skalarer . I dette tilfælde er det relevante
lineære ligningssystem
Matricen
er i dette tilfælde invertibel (detaljerne herfor overlades til
læseren), og (10.39) har dermed ikke bare en mindste
kvadraters løsning, men faktisk også en eksakt løsning. En konkret
beregning afslører, at (10.39) har løsningen ,
og
er da et kvadratisk polynomium som går igennem datasættet .
Polynomiel regression.
10.4.3 Fourieranalyse
Betragt nu det komplekse vektorrum ) af
kontinuerte komplekse funktioner på intervallet
. Som beskrevet i Eksempel 9.3(6.), så kan vi
udstyre med et indre produkt givet ved
for . I Eksempel 10.2 har vi yderligere set, at
funktionerne
for , er parvist ortogonale og af længde .Definer nu for ethvert naturligt tal underrummet
af . Så er
en ortonormal basis for , og ethvert
element har dermed en ortogonal
projektion på , jf. Lemma 10.14.
Mere specifikt
så vil
med
være projektionen af på . Ifølge Proposition 10.37
så er dermed den funktion i , som er tættest på , hvor
der med tættest menes mht. til det afstandsmål, som er
defineret ud fra det indre produkt . Hvorvidt
funktionsværdierne og , for et givet , er tilnærmelsesvis ens, siger dette dog
intet om. Et af hovedresultaterne i Fourieranalysen siger dog, at
for næsten alle værdier af . Vi vil hverken bevise dette
resultat eller gøre rede for, hvad der menes med begrebet næsten
alle. Det bør dog bemærkes, at (10.41) er opfyldt for
værdier af , hvor er
differentiabel.Vi vil nu undersøge, hvad ovenstående bemærkninger betyder i tilfældet,
hvor er en funktion, der kun antager reelle værdier; dvs. når . Vi starter med at bemærke, at
og , for , og
dermed vil
hvor og betegner de reelle tal
og
Det bemærkes, at og at , og dermed vil
Specielt finder vi, at
og er dermed en reel funktion. Faktisk har vi følgende
beskrivelse af .
Start med at bemærke, at realdelen af er givet
ved
Specielt vil
Idet er en reel funktion, så konkluderer vi herfra, at
som let omskrives til det ønskede udtryk (10.45).
En funktion der er beskrevet som på højresiden af
(10.45), kaldes for et trigonometrisk polynomium. Et trigonometrisk
polynomium er, med andre ord, en funktion, som kan beskrives som en
linearkombination af funktioner af formen
og for heltal . Idet
og
så vil enhver trigonometrisk funktion være indeholdt i , blot
er tilstrækkelig stor. Specielt vil , for stor, hvis er
en trigonometrisk funktion. I givet fald så fortæller
Fourieranalysen os endda, hvordan vi konkret kan skrive som en
linearkombination af og
(jf. (10.45), (10.43) og
(10.44)). En sådan opskrivning er faktisk entydig idet:
Vi har allerede bemærket, at (10.46) består af funktioner,
der er indeholdt i . Idet , pr. definition, er udspændt
af den ortonormale mængde , så er en basis for ,
og har dermed dimension . Men (10.46) består
af præcist elementer, og det er derfor,
jf. Proposition 7.12, tilstrækkeligt at vise, at
(10.46) udspænder . Dette følger fra identiteten
Generelt fortæller Fourieranalysen os altså, hvordan arbitrære
funktioner kan approksimeres med trigonometriske funktioner.Trigonometriske funktioner optræder i mange forskellige praktiske
anvendelser; f.eks. hvis man måler på et fysisk system, der kan
beskrives som en superposition af bølgefunktioner; som
f.eks. lyd og lys. Her vil det ofte være nyttigt at kende det fysiske
systems bestanddele; dvs. at kende de enkelte led i den trigonometriske
funktion der beskriver det fysiske system. I princippet er dette
indholdet af Lemma 10.48 og formlerne (10.43)
og (10.44) for hhv. og . I praksis må man dog
nøjes med at approksimere integralerne i (10.43) og
(10.44) med passende summer. Der findes forskellige metoder
til dette herunder den diskrete Fourier transformation og en
forfining heraf kaldet fast Fourier transform.